속성들의 충돌

학습 목표

예상 소요 시간: 25분

이 수업을 마치면 다음을 할 수 있습니다:

  • 대부분의 AI 오류가 두 가지 이상의 속성이 상호작용하여 발생한다는 것을 인식합니다
  • 관련된 속성을 파악하여 일반적인 오류 패턴(환각된 인용문, 긴 대화에서의 표류, 자신 있게 틀린 수학, 동의하는 잘못된 전제)을 진단합니다
  • 어떤 속성이 제한 요인인지에 따라 목표한 수정 방법을 적용합니다

두 속성의 만남: 무엇이 잘못됐는지 진단하기

속성들의 충돌

실제 AI 오류의 대부분은 두 가지 속성이 동시에 만날 때 발생합니다.

다음 토큰 예측
그럴듯하게 들리는 것을 생성
지식
훈련된 내용을 알고 있음
작업 기억
가까이 있는 것에 집중
조종 가능성
가장 강한 지시를 따름
두 속성을 서로 가까이 끌어다 놓으면 충돌할 때 어떤 일이 일어나는지 확인할 수 있습니다

네 가지 속성은 독립적으로 작동하지 않습니다. 실제 AI에서 발생하는 대부분의 놀라운 결과는 그 중 두 가지가 동시에 만날 때 생기며, 어떤 두 가지인지 이름을 붙일 수 있으면 해결책이 명확해집니다.

환각된 인용문 = 다음 토큰 예측 × 지식. 틈새 주제에 대해 물으면 논문 제목, 저자 이름, 학술지가 나오지만—모두 실제가 아닙니다. 모델은 지식의 공백이 있는 상태에서 그럴듯한 인용문이 어떻게 보이는지 를 생성합니다. 모델은 자신이 알고 있는 것과 만들어 내는 것을 구별하지 못합니다.

해결책: 구체적인 내용을 독립적으로 확인하거나, 소스 그라운딩을 사용하여 모델이 인용문 형태의 텍스트를 생성하는 대신 실제 문서를 검색하도록 합니다.

긴 대화에서의 표류 = 작업 기억 × 조종 가능성. 처음에 신중하게 제약 조건을 설정했지만, 스무 개의 메시지가 지나면 절반이 무시됩니다. 초기 문맥이 희미해지고, 조종 가능성은 지금 이 순간 가장 두드러지는 지시를 따릅니다.

해결책: 중요한 문맥을 다시 제공하거나, 핵심 내용을 앞에 두고 새로 시작합니다.

진단 습관: 프롬프트 수정에 손을 뻗기 전에, 지금 어떤 속성을 보고 있는가? 라고 자문하세요. 지식 문제와 작업 기억 문제는 표면적으로 비슷해 보일 수 있지만 완전히 다른 대응이 필요합니다. 먼저 속성의 이름을 붙이면 추측이 아닌 전략적으로 작업하게 됩니다. 이것이 분별력의 실천이며, 위임에도 기여합니다. 같은 유형의 작업에서 반복적인 복합 실패가 나타나면 무엇을 재구성하고, 분리하고, 스스로 처리해야 하는지에 대한 신호입니다.

핵심 요점

  • 실제 오류는 보통 하나가 아닌 두 가지 속성의 상호작용 에서 비롯됩니다.
  • 인식해야 할 진단 쌍:
    • 다음 토큰 예측 + 지식 (환각된 세부 사항)
    • 작업 기억 + 조종 가능성 (긴 대화에서의 표류)
  • 관련된 속성의 이름을 붙이면 바로 해결책을 찾을 수 있습니다: 세부 사항 확인, 문맥 재공급, 코드 실행으로 오프로드, 또는 반론 유도.
  • 이 진단 방법은 분별력의 적용입니다. 어떤 종류의 오류를 보고 있는지 알 때 더 잘 평가할 수 있습니다.

연습 문제

연습: 오류 진단

왜 하는가? 실제 AI 오류의 대부분은 하나의 속성이 문제를 일으키는 것이 아닙니다. 두 가지 속성이 동시에 만나는 것입니다. 어떤 두 가지인지 이름을 붙이면 해결책이 완전히 달라집니다.

AI와의 경험(이 과정에서 관찰한 것 포함)을 돌이켜보세요. AI 출력이 진정으로 실망스럽거나 놀라웠던 두세 가지 경우를 찾아보세요. 각각에 대해 한두 문장으로 설명해 보세요: 무엇을 물었는지, 무엇을 얻었는지, 무엇이 실망스럽거나 놀라웠는지.

  1. AI와 함께 각 사례를 살펴보세요. 무슨 일이 있었는지 설명하고 이렇게 물어보세요: "네 가지 속성(다음 토큰 예측, 지식, 작업 기억, 조종 가능성)을 기반으로, 여기서 어떤 속성이 작용했을 가능성이 높으며, 그 이유는 무엇인가요?"
  2. AI의 진단을 현재 알고 있는 것과 비교해 평가하세요. 동의하시나요? 그렇지 않다면 반박하세요. (수업 3에서 나온 아첨 지문을 기억하세요: AI가 당신의 틀에 너무 쉽게 동의할 수 있습니다. 틀렸다고 생각하면 말하세요.)
  3. 각 진단에 대해 이렇게 물어보세요: "그 진단을 고려할 때, 가장 목표한 해결책은 무엇인가요?" 가능하다면 지금 바로 비슷한 작업에서 조정을 테스트해보세요.

이제 수업 1의 작업 목록을 모든 누적된 주석(수업 2의 속성 태그, 수업 4의 검증 점수, 수업 5의 지식 플래그, 수업 6의 문맥 요구, 수업 7의 목표 진술)과 함께 살펴보세요. 가장 어려움을 겪었던 작업에 대해, 어떤 두 가지 속성이 충돌하고 있었는지 이름을 붙이세요. 각 작업 옆에 진단을 적어보세요.

수업 성찰

  • 속성 쌍의 이름을 붙이는 것이 선택하려는 해결책을 바꾸었나요? 이 과정 전이라면 다른 (덜 효과적인) 해결책을 시도했을까요?
  • 일상적인 업무에서 가장 자주 접하게 될 속성 쌍은 무엇이라고 생각하나요?

다음 단계

마지막 수업에서는 여러분이 구축한 것을 통합하고, 완전한 시스템으로서 4D 프레임워크와 연결하며, 더 깊이 탐구할 수 있는 곳을 안내합니다.

피드백

과정을 진행하면서, 업무에서 과정의 개념을 어떻게 활용하고 있는지, 그리고 의견이 있으시면 알려주세요. 피드백을 여기 에서 공유해 주세요.

감사의 말 및 라이선스

Copyright 2026 Anthropic. Rick Dakan 교수(Ringling College of Art and Design)와 Joseph Feller 교수(University College Cork)가 개발한 AI 유창성 프레임워크를 기반으로 한 원저작물. CC BY-NC-SA 4.0 라이선스 하에 공개됩니다.